Sự cần thiết phải thành lập một cơ quan xét xử cấp cao nhất cho toàn bộ Liên bang các quốc gia được hình thành ngay sau khi Liên Xô được thành lập năm 1922. Trong Hiệp ước về việc thành lập Liên Xô do Ủy ban Chấp hành Trung ương Liên Xô ban hành "Tòa án Tối cao Liên Xô với chức năng là cơ quan xét xử tối cao".

Ngày 23/11/1923, Đoàn Chủ tịch Ủy ban Chấp hành Trung ương Liên Xô đã thông qua Quy chế thứ nhất về Tòa án Tối cao Liên Xô, theo đó xác định chức năng, nhiệm vụ và thẩm quyền hoạt động của tòa án.

Hiến pháp Liên Xô ban hành năm 1924 quy định trong chương VII ("Tòa án Tối cao Liên Xô" và năm 1935 đổi tên chương thành "Tòa án Tối cao Liên Xô và Viện Kiểm sát Liên Xô") đã cụ thể hóa chức năng và nhiệm vụ Tòa án Tối cao Liên Xô trong hệ thống chính quyền Liên Xô.